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摘 
动 刺激 , 与 音乐 情绪 一 致 或 不 一 致 的 面孔 图 片 为 
,无 论 音乐 是 否 带 有 歌词 ， 听 者 在 一 致 条 件 下 
的 情绪 信息 。 实 验 2 进一步 通过 电 生 理 手段 探讨 歌词 
带 有 歌词 和 无 歌词 音乐 情绪 的 
效应 , 而 带 有 歌词 音乐 条 件 在 500~700 ms 时 间 窗 
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1 We 
音乐 和 语言 是 人 类 社会 独 有 的 , 属于 人 类 交流 
的 两 种 重要 手段 。 早 在 1871 年 , Darwin 就 提出 了 原 


始 母 语 (protolanguage) 假 说 ， 认 为 语言 和 音乐 可 能 
有 相同 的 起 源 。 对 于 远古 人 类 来 说 , 语言 和 音乐 的 
主要 功能 可 能 在 于 情绪 表达 (Thompson,， Marin, & 
Stewart, 2012)。 随 着 人 类 社会 化 程度 的 提高 , 语言 
和 音乐 逐渐 分 化 ,并 天 着 不 同 的 进化 方向 发 展 
(Mithen, 2006; Perlovsky, 2010)。 语言 发 展 成 为 具有 
明确 语义 的 符号 交流 系统 ,音乐 则 成 为 情绪 表达 的 
重要 手段 (Jackendoff, 2009)。 

音乐 可 能 先 于 语言 产生 , 在 语言 形成 之 前 ， 人 
类 可 能 就 能 够 通过 类 似 音 乐 的 方式 进行 交流 
(Darwin, 1871; Levman, 1992), IBA, 具有 明确 语 
义 的 语言 信息 是 否 有 助 于 音乐 的 情绪 表现 ?或 者 
说 ,音乐 作为 一 种 独立 的 交流 手段 ,其 情绪 表现 并 
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要 本 研究 探讨 了 歌词 对 音乐 情绪 加 工 的 影响 。 实 验 1 使 用 
标 刺 激 ， 被 试 任务 是 既 快 又 准确 ] 
的 反应 都 比 不 一 致 条 件 更 快 更 准 古 
影响 音乐 情绪 加 工 的 神经 机 制 。 研 究 结 
加 工 都 产生 了 启动 效应 , 但 是 无 歌词 音乐 条 件 在 250~450 ms 时 间 
X 口 诱发 了 LPC 效应 ,该 结果 表明 ,歌词 影响 了 大 脑 加 工 音乐 情绪 
的 时 间 进 程 。 本 研究 结果 将 在 一 定 程 度 上 为 音乐 与 语言 关系 的 探究 提供 依据 。 
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情感 启动 范式 , 带 有 歌词 与 无 歌词 音乐 片段 为 启 
地 判断 目标 面孔 的 情绪 。 结 果 显 

， 这 表明 听 者 能 加 工 音 乐 传达 
示 , 尽管 听 者 对 


窗口 产生 了 N400 


RE 


不 依赖 于 语义 信息 , 语义 信息 反而 影响 其 情绪 表 


现 ? 歌 曲 包 含 歌词 和 旋律 , 兼 具 语言 和 音乐 的 特 


征 。 在 音乐 作品 中 , 演唱 者 可 以 仅 呈 现 歌 曲 的 旋律 
(比如 ,以 无 意义 音节 “la” 演 唱 ), 也 可 以 同时 呈现 
旋律 与 歌词 。 因 此 , 已 有 很 多 研究 从 歌曲 入 手 , 试 
图 揭示 具有 明确 语义 的 言 息 对 音乐 情绪 加 工 
的 影响 ， 该 研究 问题 将 有 助 于 阐明 语言 与 音乐 在 情 
绪 加 工 方面 的 关系 。 

已 有 研究 主要 从 行为 层面 对 此 进行 了 探讨 。 研 
究 表 明 ， 歌 词 的 确 影响 了 听 者 对 音乐 情绪 的 加 工 
(Ali & Peynircioglu, 2006; Mori & Iwanaga, 2013; 
Stratton & Zalanowski, 1994), EUN, Stratton 和 
Zalanowski (1994) 以 歌曲 《Why I was born 》 为 原始 
刺激 ,制作 了 纯 歌 词 、 纯 音乐 以 及 歌词 加 钢琴 伴奏 
三 种 版 本 。 实 验 中 要 求 听 者 评价 刺激 的 愉悦 度 ， 并 
通过 量 表 测量 听 者 在 实验 前 后 的 情绪 变化 。 结 果 表 
明 ,， 听 者 对 无 歌词 版 本 的 音乐 愉悦 度 评 价 显著 高 于 
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带 有 歌词 的 两 个 版 本 。 无 歌词 音乐 使 得 听 者 的 负 性 
情绪 减少 , 正 性 情绪 增强 。 带 有 歌词 的 音乐 则 呈现 
出 完全 相反 的 趋势 : 听 者 的 负 性 情绪 增强 而 正 性 情 
绪 减 弱 。 该 结果 表明 ,无 论 歌词 是 独立 呈现 ， 还 是 
伴随 旋律 呈现 都 能 影响 听 者 对 音乐 的 情绪 加 工 。 歌 
词 对 音乐 情绪 加 工 的 影响 也 得 到 了 计算 机 算法 研 
究 的 证 实 。 研 究 发 现 , 算法 中 是 否 包 含 歌词 信息 会 
影响 该 算法 对 音乐 情绪 自动 分 类 的 准确 率 (Laurier, 
Grivolla, & Herrera, 2008) 及 击 中 率 (Hu, Downie, & 
Ehmann, 2009)。 


乐 能 够 局 动听 者 对 情绪 面孔 的 加 工 , 则 意味 着 听 者 
能 加 工 音乐 所 传达 的 情绪 信息 。 如 果 带 有 歌词 条 件 
下 的 音乐 情绪 加 工 模式 与 无 歌词 条 件 下 存在 差异 ， 
则 意味 着 歌词 对 音乐 情绪 加 工具 有 影响 。 


2 实验 1: 歌词 影响 音乐 情绪 加 工 
的 行为 研究 
实验 1 从 行为 层面 上 探讨 听 者 能 否 加工 带 有 歌 
词 与 无 歌词 音乐 的 情绪 信息 。 为 了 排除 熟悉 性 的 影 
响 ， 本 实验 的 音乐 刺激 均 选 自 欧 洲 歌 剧 片 段 。 这 是 


然而 , 也 有 研究 发 现 , 无 论 歌 词 的 表现 形式 是 
说 出 来 ， 还 是 唱 出 来 ， 听 者 在 聆听 带 有 歌词 音乐 前 
后 的 情绪 体验 并 没有 发 生 非 常 显著 的 改变 (Galizio 
& Hendrick, 1972)。 类 似 地 ,通过 测量 听 者 聆听 音 
乐 前 后 的 心境 变化 ，Sousou (1997) 发 现 ， 歌 词 并 不 
影响 听 者 对 音乐 的 情绪 体验 。 已 有 研究 结果 之 间 的 
差异 可 能 来 源 于 两 个 方面 。 一 方面 是 实验 中 对 比 条 
件 的 设置 存在 差异 。 具 体 来 说 , Galizio 和 Hendrick 
(1972) 与 Sousou (1997) 的 研究 并 未 设置 无 歌词 的 对 
比 条 件 ， 而 另 一 些 研究 (Ali & Peynircioğlu, 2006; 
Brattico et al., 2011; Stratton & Zalanowski, 1994) 均 
设置 了 无 歌词 条 件 。 另 一 方面 可 能 在 于 ， 研 究 者 没 
有 使 用 客观 的 指标 量化 听 者 对 音乐 情绪 的 加 工 。 在 
以 上 研究 中 , 研究 者 大 都 使 用 了 主观 评定 的 方法 。 
比如 , Stratton 和 Zalanowski (1994) 使 用 多 元 情感 形 
容 词 检 核 表 修 订 版 (Multiple Affect Adjective Check 
List-R)， 而 Sousou (1997) 与 Mori 和 Iwanaga (2013) 
则 使 用 自 编 的 等 级 评定 条 目 ; 同时 ,各 研究 的 评定 
内 容 从 愉悦 度 (Stratton & Zalanowski, 1994; Mori & 
Iwanaga, 2013) 到 强度 (Ali & Peynircioğlu, 2006) 也 
不 尽 相 同 。 这 些 都 导致 了 已 有 研究 结果 之 间 对 比 的 
困难 。 


因为 ， 本 研究 所 招募 的 被 试 均 是 未 受过 专业 音乐 训 
练 的 普通 大 学 生 。 对 中 国 大 学 生 而 言 ,他 们 日常 主 
要 聆听 流行 音乐 ， 较 少 主动 接触 欧洲 歌剧 。 此 外 ， 
为 排除 音色 的 影响 ， 本 实验 的 音乐 刺激 均 由 人 声 演 
唱 。 在 无 歌词 版 本 中 , 演唱 者 以 无 意义 音节 “1a" 演 
唱 ; 在 带 有 歌词 版 本 中 ,演唱 者 以 中 文 歌词 (公开 
出 版 的 中 译本 ) 演 唱 。 为 了 确保 两 个 演唱 版 本 的 有 
效 性 ,我 们 实施 了 3 个 前 测 ( 具 体内 容 见 下 文 刺 激 
与 程序 部 分 )。 如 果 带 有 歌词 和 无 歌词 音乐 都 能 启 
动听 者 对 情绪 面孔 的 加 工 , IBA, 说 明 听 者 能 够 加 
工 这 两 种 音乐 所 传达 的 情绪 信息 。 
2.1 方法 
2.1.1 被 试 

40 名 未 接受 专业 音乐 训练 的 普通 大 学 生 自 愿 
参加 了 本 实验 。 所 有 被 试 均 为 右 利 手 ， 听力 正常 ， 
视力 或 矫正 视力 正常 , 无 神经 或 精神 方面 的 病史 ， 
且 在 实验 前 签署 了 知情 同意 书 。 因 为 错误 理解 指导 
TH, 8 名 被 试 的 数据 被 剔除 。 最 终 剩 余 32 名 有 效 被 
7 (24.47 + 1.65 岁 , 15 男 )。 
2.1.2 ”刺激 与 程序 

120 条 原始 音乐 刺激 均 选 自 欧 洲 歌剧 片段 , 表 
达 高 兴 与 悲伤 情绪 的 音乐 各 半 。 所 有 音乐 刺激 均 由 


基于 此 , 本 研究 试图 在 行为 研究 的 基础 上 , 通 
过 电 生 理 手段 探究 歌词 对 音乐 情绪 加 工 的 影响 。 实 
验 1 通过 认 知 行为 方法 考察 听 者 能 否 加 工 有 /无 歌 
词 音乐 所 传达 的 情绪 。 如 果实 验 1 发 现 , 无 论 音乐 
是 否 带 有 歌词 ， 听 者 都 能 加 工 其 情绪 , 实验 2 则 进 
一 步 通 过 电 生 理 手 段 考 察 大 脑 加 工 这 两 类 音乐 所 
传递 的 情绪 是 否 存在 差异 。 两 个 实验 均 采 用 情感 启 
动 范 式 , 音乐 刺激 都 是 120 条 由 声乐 家 演唱 的 音乐 
Fr Be, 形成 两 种 条 件 : 带 有 歌词 条 件 ， 即 演唱 中 文 
歌词 ; 无 歌词 条 件 ， 即 以 无 意义 音节 “la” 演 唱 。 这 两 
种 条 件 的 音乐 刺激 都 作为 启动 刺激 ， 与 音乐 情绪 效 
价 一 致 或 不 一 致 的 面孔 图 片 作为 目标 刺激 。 如 果 音 


名 声乐 表演 者 (接受 过 18 年 专业 的 美声 歌唱 训练 ) 
演唱 。 每 一 原始 音乐 片断 均 用 中 文 歌词 及 无 意义 音 
节 “la” 演 唱 , 分 别 形成 带 有 歌词 和 无 歌词 音乐 两 个 
版 本 。 音 乐 录制 前 , 要求 该 声乐 表演 者 仔细 划 酌 每 
一 音乐 片段 的 表演 方式 , 力求 两 个 版 本 在 力度 ( 即 
表演 者 对 音响 强 弱 变化 的 处 理 方式 )、 弹 性 速度 
(rubato， 即 表演 者 在 一 定 范 围 内 对 速度 自由 变化 的 
把 握 )、 分 句 ( 即 乐句 的 断 句 或 演唱 的 呼吸 口 ) 及 整体 
表演 水 平 ( 即 音响 整体 质量 的 好 坏 ) 等 方面 的 一 致 
性 。 录 制 后 的 音乐 统一 使 用 Adobe Audition CS6 
(Adobe Systems Inc) 和 Goldwave 剪辑 处 理 。 音乐 刺 
激 平均 时 长 17 s (范围 : 10~25 s)， 皆 为 单 频道 , K 
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样 率 22.050 kHz, 16 位 分 辩 率 , 平均 响 度 均 标准 化 
为 -7 dB， 同 时 淡出 1 s。 

为 确保 实验 材料 的 有 效 性 ， 本 实验 实施 了 三 个 
前 测 。 第 一 个 前 测 是 为 了 保证 两 个 版 本 的 音乐 刺激 
在 表演 水 平和 表演 方式 上 不 存在 显著 差异 。 我 们 招 
募 16 名 音乐 专业 大 学 生 ( 均 接受 了 18 年 专业 音乐 
训练 )， 要 求 其 评定 带 有 歌词 与 无 歌词 音乐 在 弹性 
速度 ,力度 , 分 句 处 理 方 式 以 及 总 体 表演 水 平 上 的 
一 致 性 (1 = 非常 不 同 , 4 = 不 确定 ,7 = 非常 相同 )。 
只 有 平均 分 高 于 4 的 音乐 刺激 才 被 采用 。 第 二 个 前 
测 是 为 了 确保 听 者 能 听 清 带 有 歌词 音乐 中 的 歌词 
内 容 。 我 们 招募 16 名 不 参与 正式 实验 的 普通 大 学 
AE, 要求 其 评定 音乐 中 歌词 的 清晰 度 (1 = 不 清楚 ， 
3 = 不 确定 , 5 = 清楚 )。 只 有 平均 分 高 于 4 的 音乐 
刺激 才 被 采用 。 经 过 两 个 前 测 筛 选 ， 带 有 歌词 与 无 
歌词 音乐 刺激 中 各 有 80 条 符合 要 求 。 第 三 个 前 测 
是 为 了 确保 启动 音乐 和 目标 面孔 在 情绪 效 价 上 的 
关系 是 一 致 或 不 一 致 。 我 们 从 《中 国 化 面孔 情绪 图 
HAS) GEM, HEE, EU, PR, 2011) Pie 
取 翡 伤 和 高 兴 面 孔 各 80 张 ， 作 为 潜在 的 目标 刺激 ， 
男女 面孔 各 半 。 通 过 Adobe Photoshop CS 调整 面孔 
图 片 像素 为 102 x 768, 16 位 分 辨 率 。160 条 音乐 刺 
激 均 呈现 两 次 , 分 别 和 情绪 一 致 及 情绪 不 一 致 的 面 
和 孔 匹配 ,形成 320 对 音乐 -面孔 配对 。 招 募 16 名 不 
参加 正式 实验 的 普通 大 学 生 ,， 要求 其 评定 音乐 - 面 
孔 配 对 的 一 致 性 (1 = 非常 不 一 致 , 5 = 不 确定 , 9 = 
非常 一 致 )。 得 分 高 于 7 的 配对 视 作 情绪 一 致 的 刺 
激 ， 得 分 低 于 3 的 配对 视 作 情绪 不 一 致 的 刺激 。 最 


启动 刺激 
(音乐 片段 ) 


RE hme slp pee 一 一 一 


B: 卡门 片段 


终 带 有 歌词 音乐 和 无 歌词 音乐 启动 条 件 下 各 有 60 
条 刺激 符合 标准 , 形成 4 种 条 件 : 带 有 歌词 音乐 - 
图 片 一 致 、 带 有 歌词 音乐 -图 片 不 一 致 、 无 歌词 音 
乐 -图 片 一 致 ， 以 及 无 歌词 音乐 -图 片 不 一 致 ( 详 见 
图 1), 每 个 实验 条 件 各 有 60 个 配对 。 我 们 进一步 
对 以 上 配对 的 情绪 一 致 性 评定 结果 进行 2( 一 致 性 : 
一 致 ， 不一致 ) x 2( 歌 词 : 带 有 歌词 音乐 , 无 歌词 音 
乐 ) 重 复 测量 方差 分 析 。 结果 表明 ，, 一致 性 主 效应 显 
著 , F(1, 59)= 2318.45, p < 0.001, np = 0.98。 无 论 带 
有 歌词 音乐 (一 致 : M = 7.37, SD = 0.53; 不 一 致 : M 
=2.70, SD = 0.57)， 还 是 无 歌词 音乐 (一 致 : M = 7.33, 
SD = 0.55; 不 一 致 : M= 2.66, SD = 0.56)， 听 者 对 一 
致 的 评定 均 显 著 高 于 不 一 致 。 其 它 效 应 均 不 显著 (ps 
> 0.09)。 该 研究 结果 表明 , 无 论 音乐 刺激 是 否 带 有 
歌词 ， 情 绪 一 致 与 不 一 致 条 件 均 存 在 差异 。 此 外 ， 
我 们 还 计算 了 第 3 个 前 测 中 筛选 出 的 带 有 歌词 音乐 
的 清晰 度 : 歌词 的 清晰 度 平 均 得 分 为 4.42 (SD = 
0.23); 带 有 歌词 音乐 与 无 歌词 音乐 在 表情 因素 方 
面 的 处 理 方式 以 及 总 体 表演 水 平 的 一 致 性 得 分 如 
F: 弹性 速度 (5.44 土 0.48)、 力 度 (5.56 + 0.47)、 分 
句 (5.56 土 0.47)、 总 体 表演 水 平 (5.52 + 0.44)。 
我 们 将 240 个 配对 以 拉丁 方 的 方式 分 配 到 2 套 
刺激 中 ,每 套 刺 激 各 有 120 个 试 次 , 包含 4 个 实验 
条 件 ， 每 个 被 试 只 需 完 成 其 中 一 套 刺 激 。 刺 激 以 伪 
随机 方式 呈现 ， 同 一 启动 或 目标 刺激 之 间 至 少 间隔 
8 个 试 次 。 在 实验 中 , 1000 ms 黑色 注视 点 消失 后 通 
过 飞利浦 头 戴 式 SHM1900 耳机 播放 启动 音乐 。 音 
乐 播放 完毕 后 呈现 情绪 面孔 图 片 。 被 试 任务 是 


目标 刺激 
(情绪 面孔 ) 


一 致 


图 1 跨 通道 情感 启动 范式 。 启 动 刺 激 为 带 有 歌词 或 无 歌词 音乐 片段 ,情绪 面孔 为 目标 刺激 


| 


:202303.08577v1 


chinaXiv 


第 12 期 


张 伟 霞 等 : 歌词 对 音乐 情绪 加 工 的 影响 : 行为 与 ERP 研究 


ChinaX iv ERAT 


1349 


= 


又 快 又 准 地 判断 图 片 情绪 ， 高 兴 按 F ARTE Jo TF 
绪 类 型 高兴/ 悲伤 ) 与 按键 GE/J) 的 对 应 关系 在 被 试 
间 和 平衡。 判断 结束 后 ， 按 空格 键 开 始 下 一 个 试 次 。 
正式 实验 开始 前 , 我 们 提供 4 个 练习 试 次 以 确保 被 
试 熟悉 实验 流程 。 为 进一步 排除 熟悉 的 影响 ， 正 式 
实验 结束 后 ,我 们 要 求 被 试 报告 实验 中 音乐 片段 对 
应 的 标题 。 如 果 被 试 能 报告 出 标题 中 一 个 以 上 的 关 
键 词 ， 表 明 被 试 熟悉 该 音乐 片段 。 在 该 实验 中 , 没有 
被 试 能 报告 出 所 有 音乐 名 称 中 的 任何 一 个 关键 词 。 
2.2 ”结果 与 讨论 

图 2 显示 了 4 种 实验 条 件 下 的 平均 正确 率 (a) 
和 反应 时 (b)。 在 正确 率 方面 ，2( 歌 词 : 带 有 歌词 音 
Sk, 无 歌词 音乐 ) x 2( 一 致 性 : 一 致 ， 不 一 致 ) 重 复 
测量 方差 分 析 结 果 发 现 : 一 致 性 主 效应 显著 ，F(1， 
31)= 9.80, p = 0.004, n= 0.24， 表 明 一 致 条 件 (M = 
97.86%, SD = 2.74%) 的 正确 率 显著 高 于 不 一 致 条 件 
(M = 94.71%, SD = 6.79%); 歌词 主 效应 显著 (F(1, 31) 
= 7.64, p = 0.01, n, = 0.20)， 表 明 无 歌词 音乐 条 件 
(M= 97.17%, SD = 4.03%) 的 正确 率 显著 高 于 带 有 
歌词 音乐 条 件 (M = 95.40%, SD = 6.39%), 交互 作用 
不 显著 (p > 0.05)。 


w 一 致 国 不 -至 


98 T 


正确 率 (%) 
£ 


带 有 歌词 
(b) 


无 歌词 


反应 时 (ms) 


带 有 歌词 无 歌词 
图 2 ”每 种 实验 条 件 下 的 平均 正确 率 (a) 和 反应 时 (b)， 误 
差 线 为 标准 误 


在 反应 时 方面 ,2( 歌 词 : 带 有 歌词 音乐 , 无 歌 
词 音 乐 ) x 2( 一 致 性 : 一 致 , 不一致) 重复 测量 方差 


分 析 结 果 表 明 :一 致 性 主 效应 显著 (F(1, 31) = 14.38, 
p = 0.001, np = 0.32), 情绪 一 致 条 件 下 的 反应 时 
(M = 1051.83 ms, SD = 389.35 ms) 显 著 低 不 一 致 条 
件 (M = 1166.45 ms, SD = 503.22 ms); 歌词 主 效应 
显著 (F(1, 31) = 4.42, p = 0.04, ni = 0.13)， 带 有 歌词 
音乐 条 件 下 的 反应 时 (M = 1136.59 ms, SD = 486.83 
ms) 显 著 长 于 无 歌词 音乐 条 件 (M = 1081.69 ms, SD 
= 415.88)。 歌 词 与 一 致 性 交互 作用 不 显著 (p > 
0.05)。 

与 已 有 研究 的 行为 结果 一 致 (Goerlich，Witteman， 
Aleman, & Martens, 2011; Wang & Qin, 2016; Zhang, 
Li, Gold, & Jiang, 2010), 在 本 研究 中 ， 相 对 于 情绪 
不 一 致 条 件 ， 听 者 在 情绪 一 致 条 件 下 的 反应 更 快 更 
准 。 这 说 明 , 带 有 歌词 和 无 歌词 音乐 都 能 启动 听 者 
对 情绪 面孔 的 加 工 。 也 就 是 说 ， 听 者 能 加 工 带 有 歌 
词 和 无 歌词 音乐 的 情绪 (Morton & Trehub, 2007). 


3 实验 2: 歌词 影响 音乐 情绪 加 工 
的 ERP 研究 


实验 1 结果 表明 , 无 论 是 否 带 有 歌词 ， 听 者 都 
能 够 加 工 音乐 的 情绪 信息 。 由 于 行为 实验 无 法 反映 
出 大 脑 加 工 音乐 情绪 在 时 间 进 程 上 的 动态 变化 ， 
此 ,实验 2 试图 通过 电 生 理 手段 进一步 探究 歌词 影 
响 音 乐 情绪 加 工 的 神经 机 制 。 在 已 有 研究 中 , ANA 
一 个 研究 借助 功能 核磁 共振 成 像 ([MRD 技 术 探 讨 
了 歌词 影响 音乐 情绪 加 工 的 神经 机 制 ,遗憾 的 是 ， 
研究 者 使 用 带 有 歌词 的 声乐 曲 和 无 歌词 的 器 乐曲 
为 实验 刺激 ， 这 种 实验 操纵 无 法 排除 音色 在 音乐 情 
绪 加 工 中 的 作用 (Brattico et al, 2011)。 的 确 ， 众 多 人 研 
究 表 明 , 音色 对 音乐 情绪 加 工具 有 重要 的 影响 
(Behrens & Green, 1993; Hailstone et al., 2009; 
Franco, Chew, & Swaine, 2017)。 那 么 ,控制 音色 之 
后 ， 歌 词 是 否 影响 听 者 对 音乐 情绪 的 神经 加 工 ? 这 
是 本 实验 要 探究 的 问题 。 

先前 使 用 情感 启动 范式 的 研究 主要 关注 N400 
与 晚期 正成 分 (late positive component, LPC). WI 
表明 , 情绪 不 一 致 条 件 比 一 致 条 件 诱发 了 更 大 的 
N400,， 该 成 分 反映 了 大 脑 对 情绪 冲突 的 检测 
(Schirmer, Kotz, & Friederici, 2002; Zhang, Lawson, 
Guo, & Jiang，2006) 以 及 对 情绪 信息 的 整合 加 工 
(Kamiyama, Abla, Iwanaga, & Okanoya, 2013; 
Zhang et al., 2010)。 类 似 地 ,情绪 不 一 致 条 件 诱发 
的 LPC 比 情绪 一 致 条 件 更 大 (Herring, Taylor, White, 
& Crites, 2011; Werheid, Alpay, Jentzsch, & Sommer, 
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2005; Zhang et al.,，2010)， 表 明 大 脑 对 情绪 不 一 致 
条 件 的 加 工 需 要 更 多 的 注意 参与 (Zhang, Kong, & 
Jiang, 2012; Zhang et al, 2010)。 如 果 听 者 对 带 有 歌 
词 音 乐 和 无 歌词 音乐 所 传达 的 情绪 信息 都 能 进行 
加 工 (Morton & Trehub,，2007)， 且 歌词 会 影响 听 者 
对 音乐 情绪 的 加 工 (Ali & Peynircioğlu, 2006; Stratton 
& Zalanowski, 1994). 我 们 预期 ， 听 者 对 带 有 歌词 音 
乐 和 无 歌词 音乐 情绪 信息 的 加 工 都 会 产生 启动 效 
Di, 也 就 是 N400 或 LPC 效应 。 但 是 ， 有 歌词 音乐 
和 无 歌词 音乐 启动 条 件 下 所 产生 的 启动 效应 可 能 
存在 差异 。 
3.1 方法 
3.1.1 被 试 

被 试 是 20 名 没有 受过 专业 音乐 训练 的 普通 大 
学 生 , 4 名 被 试 因 脑 电 伪 迹 过 多 被 剔除 ， 有 效 被 试 
为 16 名 (23.88 + 1.36 岁 ,7 男 )。 所 有 被 试 均 为 右 利 
手 ， 听 力 正 常 ， 视 力 或 矫正 视力 正常 ,无 精神 病史 ， 
无 大 脑 损 伤 。 所 有 被 试 均 签署 了 知情 同意 书 ， 并 在 
实验 结束 后 获得 一 定 的 报酬 。 
3.1.2 ”刺激 与 程序 

刺激 材料 与 实验 1 相同 。 为 避免 行为 反应 对 脑 
电信 号 的 干扰 , 实验 2 在 程序 上 与 实验 1 略 有 不 同 。 
在 实验 2 中 , 音乐 播放 完毕 后 呈现 的 情绪 面孔 图 片 
不 是 按键 消失 , 而 是 固定 的 1000 ms。 事 件 相 关 脑 
电 的 标记 打 在 情绪 面孔 呈现 的 时 间 点 上 。 在 面孔 消 
失 后 立即 出 现 反 应 界面 ， 要 求 被 试 判断 音乐 与 面孔 
所 表达 的 情绪 是 否 一 致 ， 一 致 按 F 不 一 致 按 J。 一 
致 性 (一 致 /不 一 致 ) 与 按键 (FJ 的 对 应 关系 在 被 试 
间 平 衡 。 反 应 时 间 没 有 限定 ， 判 断 结束 后 ， 按 空格 
键 开始 下 一 个 试 次 。 正 式 实验 开始 前 , 被 试 完成 6 
个 练习 刺激 以 熟悉 实验 流程 。 与 实验 1 相同 , 为 进 
一 步 排除 熟悉 度 可 能 对 实验 造成 的 干扰 , 在 正式 实 
验 结束 后 ， 要 求 被 试 报告 实验 中 音乐 片段 的 标题 。 
在 该 实验 中 , 没有 被 试 能 报告 出 所 有 音乐 标题 中 的 
任何 一 个 关键 词 。 
3.1.3” 脑 电 记 录 与 数据 分 析 

我 们 采用 Biosemi 64 导 Active Two 电极 帽 ,在 
2048 Hz 采样 率 下 记录 EEG 信号 。 外接 电 极 分 别 放 
置 于 左 、 右 外 眼角 处 及 左 眼 上 、 下 以 分 别 记录 水 平 
眼 电 和 垂直 眼 电 。 脑 电 采 集中 控制 电极 与 头皮 接触 
的 电阻 在 20 KO 以下。 离线 分 析 时 ,将 参考 转 为 双 
侧 乳 突 平均 参考 ,进行 0.1~30 Hz (24 dB/oct) 带 通 
滤波 ,并 通过 BESA 分 析 软 件 自动 矫正 眼 电 伪 迹 。 
分 段 为 目标 刺激 呈现 前 200 ms 到 目标 刺激 呈现 后 


1000 ms， 基 线 为 目标 刺激 出 现 前 的 200 ms 时 间 
段 。 删 除 波 幅 变化 超过 +120 pV 及 反应 错误 的 试 次 。 

根据 半球 和 区 域 , 我 们 选取 9 个 感 兴 趣 区 
(interest of region，ROD 的 电极 点 (左前 : FP1, AF3, 
F3, F5, F7; 中 前 :FPz, AFz, Fz; 右前 :FP2, AF4, F4, 
F6, F8; 左 中 : Cl, CP1, FC3, C3, CP3; 中 中 : FCz, 
Cz, CPz; 右 中 : C2, CP2, FC4, C4, CP4; 左 后 : P3, 
P5, PO3, PO7, O1; 中 后 :Pz, POZ, Oz; 右 后 :P4, P6, 
PO4，PO8，02) 分 别 进 行 中 线 和 两 侧 的 重复 测量 方 
差分 析 。 就 中 线 电 极点 而 言 ， 一 致 性 (一 致 ， 不 一 致 )， 
歌词 ( 带 有 歌词 音乐 , 无 歌词 音乐 ) 和 脑 区 (前 ， 中 ， 
后 ) 为 被 试 内 因素 。 两 侧 分 析 在 中 线 分 析 的 基础 上 
增加 了 半球 ( 左 , 右 ) 作 为 被 试 内 因素 。 计 算 每 个 兴 
趣 区 内 所 有 电极 点 的 平均 值 并 做 进一步 分 析 。 本 研 
究 只 报告 显著 或 边缘 显著 的 主要 实验 变量 (歌词 ， 
一 致 性 ) 的 统计 结果 。 交 互 作 用 显著 后 进行 简单 效应 
ABT, 所 有 的 成 对 比较 均 使 用 Bonferroni correction 
矫正 ,球形 假设 不 成 立时 , 使 用 Greenhouse-Geisser 
矫正 p 值 。 
3.2 ”结果 与 讨论 
3.2.1 行为 结果 

我 们 以 正确 率 为 因 变 量 , 进行 2( 歌 词 : 带 有 歌 
词 音乐 , 无 歌词 音乐 ) x 2( 一 致 性 :一 致 , 不一致) 的 
重复 测量 方差 分 析 。 结果 没有 发 现任 何 显著 的 效应 
(ps > 0.05)。 带 有 歌词 条 件 下 的 正确 率 为 85.83%, 
无 歌词 条 件 下 的 正确 率 为 83.02%， 这 表明 , 无论 是 
带 有 歌词 条 件 还 是 无 歌词 条 件 ， 听 者 都 能 认真 完成 
实验 任务 。 
3.2.2 IARR 

图 3 呈现 了 无 歌词 (a) 与 带 有 歌词 (b) 音 乐 启动 
条 件 下 产生 的 ERP 波形 图 。 图 4 呈现 的 是 在 250~ 
450 ms (a) 和 500~700 ms (b) 时 间 窗 口内 无 歌词 与 
带 有 歌词 音乐 条 件 下 的 差异 波 (情绪 不 一 致 减 情 绪 
一 致 ) 地 形 图 。 基 于 图 形 观 察 ， 以 及 已 有 研究 发 现 
(Daltrozzo & Schön, 2009; Herring et al., 2011; 
Kamiyama et al., 2013; Werheid et al., 2005; Zhang et 
al.，2010) 的 研究 ,我 们 将 目标 刺激 出 现 后 的 
250~450 ms 及 500~700 ms 分 别 作 为 N400 和 LPC 
的 时 间 窗 。 

我 们 以 N400 平均 波幅 为 因 变 量 , 分 别 进行 中 
线 和 两 侧 分 析 。 中 线 分 析 中 , 2( 歌 词 : 带 有 歌词 音乐 ， 
无 歌词 音乐 ) x 2( 一 致 性 : 一 致 ， 不一致) x 3( 脑 区 : 
前 ， 中 ,后 ) 三 因素 重复 测量 方差 分 析 发 现 ， 歌词 与 
一 致 性 交互 作用 显著 , FO, 15)= 8.48, p = 0.01, np = 
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(a) N400 时 间 窗 口 


图 3 无 歌词 (a) 与 带 有 歌词 (b) 启 动 条 件 下 的 ERP 波形 图 。 浅 灰 与 中 灰 阴 影 部 分 分 别 表示 N400 与 LPC 的 时 间 窗 口 


一 上 -一 | 一 一 致 
不 一 臻 


(b) LPC 时 间 窗 口 


图 4 带 有 歌词 与 无 歌词 在 250~450 ms (a) 及 500~700 ms (b) 时 间 窗 内 的 差异 波 地 形 图 


0.36。 简 单 效应 分 析 表 明 ， 在 无 歌词 音乐 启动 下 ， 
情绪 不 一 致 条 件 比 一 致 条 件 诱发 了 更 大 的 N400 波 
幅 , FC, 15)= 5.17, p = 0.04, nå = 0.26。 然 而 , 在 带 
有 歌词 音乐 启动 下 ,情绪 一 致 与 不 一 致 条 件 诱发 的 
N400 波幅 不 存在 显著 差异 , F(1, 15) = 2.90, p = 
0.11。 在 两 侧 分 析 中 , 2( 歌 词 : 带 有 歌词 音乐 ， 无 歌 
词 音 乐 ) x 2( 一 致 性 : 一 致 , 不 一 致 ) x 3( 脑 区 : 前 ， 
H, 后 ) x 2( 半 球 : Ze, 右 ) 四 因素 重复 测量 方差 分 
FEHN, 歌词 与 一 致 性 的 交互 作用 显著 , FA, 15) = 
7.80, p = 0.02, m2 = 0.34。 简 单 效应 分 析 表 明 ， 在 无 
歌词 音乐 启动 下 ,情绪 不 一 致 条 件 比 一 致 条 件 诱发 
了 更 大 的 N400 波幅 , FC, 15)= 6.81, p = 0.02, np = 
0.31。 然 而 , 在 带 有 歌词 音乐 启动 下 ,情绪 一 致 与 
不 一 致 条 件 诱发 的 N400 波幅 不 存在 显著 差异 , F(1， 
15)= 2.18,p = 0.16。 在 中 线 和 两 侧 分 析 中 ,其 它 与 
歌词 或 一 致 性 有 关 的 效应 均 不 显著 (ps > 0.35)。 

类 似 地 , 我 们 以 LPC 平均 波幅 为 因 变量 ， 分 别 
进行 中 线 和 两 侧 的 分 析 。 在 中 线 分 析 中 , 2( 歌 词 : 带 
有 歌词 音乐 , 无 歌词 音乐 ) x 2( 一 致 性 : 一 致 ， 不 
致 ) x 3( 脑 区 : 前 ,中 ,后 ) 三 因素 重复 测量 方差 分 


图 见 电 子 版 


WRH, 歌词 与 一 致 性 交互 作用 显著 , FA, 15) = 
7.47, p = 0.02, nå = 0.33。 简 单 效 应 分 析 表 明 ， 在 带 
有 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 比 一 致 条 件 诱 
发 了 更 大 的 LPC 波 幅 , F(A, 15) = 6.90, p = 0.02, my = 
0.32。 在 无 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 与 一 
致 条 件 诱 发 的 LPC 波幅 不 存在 显著 差异 , F(1, 15) = 
0.78, p= 0.39。 在 两 侧 分 析 中 , 2( 歌 词 : 带 有 歌词 音 
乐 , 无 歌词 音乐 ) x 2( 一 致 性 : 一 致 , 不一致) x 
3( 脑 区 : 前 ， 中 ,后 ) x 2( 半 球 : 左 ， 右 ) 四 因素 重复 
测量 方差 分 析 发 现 ， 歌词 与 一 致 性 交互 作用 显著 ， 
F(1, 15)= 6.20, p = 0.03, nê = 0.29。 简单 效应 分 析 表 
明 , 在 带 有 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 比 一 
致 条 件 诱发 了 更 大 的 LPC, F(1, 15)= 5.17, p = 0.04, 
ma = 0.26。 在 无 歌词 音乐 启动 下 ,情绪 不 一 致 条 件 
与 一 致 条 件 诱发 的 LPC 波幅 不 存在 显著 差异 , FC, 
15)= 0.82, p = 0.38。 中 线 和 两 侧 分 析 中 没有 其 它 与 
歌词 或 一 致 性 有 关 的 显著 效应 (ps > 0.21)。 

实验 2 脑 电 结果 发 现 , 带 有 歌词 音乐 启动 条 件 
下 在 250~450 ms 时 间 窗 口 诱发 了 N400 效应 , 无 歌 
词 音 乐 启动 条 件 下 在 500~700 ms 时 间 窗 口 诱发 了 
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LPC 效应 。 该 结果 表明 , 无论 音乐 是 否 带 有 歌词 ， 
听 者 均 能 对 启动 刺激 与 目标 刺激 之 间 的 情绪 关系 
进行 判断 , 但 是 ， 听 者 加 工 带 有 歌词 与 无 歌词 音乐 
情绪 存在 时 间 进 程 上 的 差异 。 也 就 是 说 ， 听 者 对 带 
有 歌词 音乐 情绪 的 加 工 滞后 于 无 歌词 音乐 。 


4 ”综合 讨论 


本 研究 通过 两 个 实验 探讨 歌词 影响 音乐 情绪 
加 工 的 神经 机 制 。 行 为 结果 显示 , 无 论 音乐 是 否 带 
有 歌词 ， 听 者 在 一 致 条 件 下 的 反应 都 比 不 一 致 条 件 
更 快 更 准确 ， 表 明 无 论 音乐 是 否 带 有 歌词 ， 听 者 都 
能 加 工 音乐 传达 的 情绪 信息 .ERP 结果 进一步 显示 ， 
尽管 听 者 对 带 有 歌词 与 无 歌词 音乐 情绪 的 加 工 都 
诱发 了 启动 效应 , 但 是 无 歌词 音乐 条 件 在 250~ 450 
ms 时 间 窗 口 诱发 了 N400 效应 , 而 带 有 歌词 音乐 条 
件 在 500~700 ms 时 间 窗 口 诱发 了 LPC 效应 , 该 结 


et al., 2011; Wang & Qin, 2016; Werheid et al., 2005; 
Zhang et al., 2012; Zhang et al., 2010), 在 本 研究 中 ， 
听 者 对 带 有 歌词 音乐 的 情绪 加 工 诱发 了 LPC 效应 。 
这 可 能 反映 了 注意 资源 的 分 配 。 的 确 ， 有 研究 发 现 
情感 启动 范式 中 不 一 致 条 件 下 更 大 的 LPC 是 由 于 
更 多 的 注意 卷 人 所 致 (Herring et al., 2011; Werheid 
et al., 2005; Zhang et al., 2010)。 男 一 方面 , GA 
究 发 现 LPC 体现 了 整合 加 工 (Juottonen，Revonsuo， 
& Lang, 1996)。 在 语言 与 音乐 的 记忆 研究 中 , 人 研究 
者 发 现 ， 当 语言 与 旋律 信息 同时 呈现 时 ， 听 者 是 将 
其 整合 一 起 ， 作 为 一 个 整体 加 工 ， 而 不 是 分 开 加 工 
(Serafine, Davidson, Crowder, & Repp, 1986)。 在 本 
研究 中 ， 当 音乐 带 有 歌词 时 ， 听 者 需要 整合 旋律 与 
歌词 ， 并 可 能 将 其 作为 一 个 整体 与 情绪 面孔 的 一 至 
性 进行 匹配 ， 由 此 诱发 了 LPC 效应 。 然 而 , 需要 说 
明 的 是 ， 尽管 听 者 对 带 有 歌词 音乐 情绪 信息 的 加 工 


RRHH, 歌词 影响 了 听 者 加 工 音 乐 情绪 的 时 间 进 程 ， 
说 明 听 者 对 带 有 歌词 音乐 情绪 的 加 工 滞后 于 无 歌 
词 音 乐 。 

经 典 N400 通常 和 语义 加 工 有 关 , 不 一 致 的 语 
义 常常 比 一 致 诱发 更 大 的 N400 (Kutas & Hillyard, 
1980)， 该 成 分 体现 出 大 脑 对 概念 的 整合 加 工 
(Brown & Hagoort, 1993; Kutas & Federmeier, 2000; 
Kutas & Federmeier, 2011)。 近 年 研究 也 表明 , 在 情 
感 启动 范式 中 , 情绪 不 一 致 的 条 件 比 情绪 一 致 的 条 
件 诱 发 了 更 大 的 N400 (Schirmer et al., 2002; Zhang 
et al., 2010; Zhang et al., 2006), 表示 对 情绪 信息 的 
整合 加 工 需 要 更 多 的 认 知 资源 (Kamiyama et al, 
2013; Zhang et al, 2010)。 研 究 也 发 现 ， 当 启动 刺激 
为 短小 音乐 片段 (Daltrozzo & Schön, 2009; Goerlich 
et al., 2011; Koelsch et al., 2004)*3 N5% (Steinbeis & 
Koelsch, 2011)MY, 大脑 也 能 对 不 一 致 的 情绪 信息 
诱发 更 大 波幅 的 N400。 本 研究 发 现 ， 对 无 歌词 音乐 
情绪 的 加 工 诱发 了 N400 效应 ,这 一 效应 的 产生 主 
要 源 于 情绪 意义 的 激活 (Daltrozzo & Schön, 2009; 
Eder, Leuthold, Rothermund, & Schweinberger, 
2011). 的 确 , 启动 刺激 的 出 现在 概念 水 平 上 预先 激 
活 了 与 目标 刺激 有 关 的 情绪 表征 ,减少 了 情绪 一 致 
条 件 下 的 N400 波幅 (Goerlich et al., 2012)。 相 比 情 
绪 一 致 条 件 , 在 情绪 不 一 致 条 件 下 ,由 于 与 目标 刺 
激 相 关 的 情绪 表征 没有 被 提前 激活 ， 所 以 听 者 对 无 
歌词 音乐 情绪 信息 与 面孔 情绪 信息 的 整合 加 工 需 
要 更 多 的 认 知 资源 , 体现 为 N400 波幅 的 增 大 。 
与 以 往 使 用 情感 启动 范式 的 研究 一 致 (Herring 


滞后 于 无 歌词 音乐 (体现 为 LPC 效应 和 N400 效应 
潜伏 期 的 差异 ), 但 启动 效应 的 出 现 意 味 着 听 者 能 
正确 理解 并 加 工 带 有 歌词 与 无 歌词 音乐 所 传达 的 
情绪 信息 。 

作为 两 个 独立 的 脑 电 成 分 , 研究 者 普遍 认为 
N400 与 LPC 代表 了 不 同 的 认 知 加 工 过 程 (Ibiaez et 
al., 2010; Juottonen et al., 1996; Rohaut & Naccache, 
2017). IAIN, 已 有 研究 表明 ,， 听 者 对 带 有 歌词 与 无 
歌词 音乐 情绪 信息 的 加 工 可 能 涉及 不 同 的 神经 机 
制 (Brattico et al.，2011)。 因 此 , 虽然 本 研究 认为 
N400 和 LPC 在 一 定 程度 上 均 反 映 了 整合 加 工 , 但 
这 两 个 成 分 所 代表 的 整合 加 工 应 当 存 在 一 定 差异 。 
基于 情绪 的 起 源 (origin)， 情 绪 双 模型 理论 (emotion 
duality mode DA Jy, 在 个 体 对 刺激 做 出 情绪 反应 的 
过 程 中 ,存在 两 个 评价 机 制 : 自动 评价 系统 (the 
automatic evaluating system) 和 反思 性 评价 系统 (the 
reflective evaluating system) (Jarymowicz & Imbir, 
2015)。 反思 性 反应 的 产生 需要 以 言语 为 基础 , 没有 
言语 的 参与 则 无 法 产生 这 种 反应 (Imbir, Spustek, & 
Zygierewicz, 2016)。 是 否 带 有 语言 信息 恰恰 是 本 研 
究 中 带 有 歌词 与 无 歌词 音乐 的 差异 。 因 此 , 本文 的 
LPC 可 能 反映 的 是 一 种 反思 性 的 整合 加 工 ， 而 
N400 可 能 反映 的 是 一 种 相对 自动 化 的 整合 加 工 。 

通过 两 个 实验 , 本 研究 发 现 ,歌词 的 参与 导致 
了 上 听 者 对 音乐 情绪 加 工 的 滞后 ,该 结果 验证 了 音乐 
哲学 的 观点 。 在 音乐 哲学 家 看 来 ， 纯 音乐 (无 歌词 音 
乐 ) 在 传达 情绪 方面 比 带 有 歌词 音乐 更 迅速 更 直接 
(于 润 洋 ，2000; 张 前 , EXE, 1992), 这 是 因为 ， 
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语言 通过 命题 系统 (propositional system) 明 确 地 传 
达 情 绪 信 息 (Erickson, 2005; Jankélévitch & Abbate, 
2003)， 而 纯音 乐 正 是 没有 类 似 语言 的 语义 ,使 其 
在 传递 情绪 过 程 中 ， 可 以 省 略 命题 系统 中 的 翻译 
(translatiomn) 过 程 ， 由 此 导致 纯音 乐 能 够 更 迅速 更 直 
接地 传递 情绪 信息 。 

从 语言 与 音乐 情绪 加 工 的 关系 来 看 ， 与 已 有 行 
为 研究 结果 一 致 (Ali & Peynircioğlu, 2006; Mori & 
Iwanaga, 2013; Stratton & Zalanowski, 1994)， 本 人 研 
究 结果 表明 歌词 对 音乐 情绪 加 工具 有 影响 。 应 该 指 
出 的 是 , 本 研究 是 通过 比较 有 /无 歌词 条 件 下 的 音 
乐 情 绪 加 工 ， 探 究 歌词 的 影响 效应 。 尽 管 本 研究 的 
实验 设计 无 法 直接 回答 语言 与 音乐 在 情绪 加 工 方 
面 是 否 存在 交互 的 问题 ,但 是 ,本 研究 结果 暗示 了 
语言 与 音乐 的 情绪 加 工 可 能 共享 特定 的 机 制 。 具 体 
来 说 , 与 无 歌词 条 件 不 同 , 带 有 歌词 音乐 条 件 诱发 
了 LPC 效应 , 该 LPC 效应 主要 缘 于 歌词 的 介入 。 
就 带 有 歌词 的 条 件 而 言 ， 歌 词 与 旋律 是 同时 呈现 ， 
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既然 歌词 影响 其 音乐 情绪 加 工 ， 则 暗示 了 语言 与 音 
乐 的 情绪 加 工 可 能 在 此 存在 交互 。 未 来 研究 需要 对 
此 进行 进一步 验证 。 


5 结论 


本 人 研究 表明 ,无论 是 否 带 有 歌词 ， 听 者 都 能 加 
工 音乐 所 传达 的 情绪 信息 。 但 是 , 无 歌词 音乐 条 件 
在 250~450 ms 时 间 窗 口 诱发 了 N400 效应 ,而 带 有 
歌词 音乐 条 件 在 500~700 ms 时 间 窗 口 诱发 了 LPC 
效应 ,该 结果 表明 歌词 影响 了 大 脑 加 工 音 乐 情绪 的 
时 间 进 程 ， 听 者 对 带 有 歌词 音乐 情绪 的 加 工 滞 后 于 
无 歌词 音乐 。 本 研究 在 一 定 程 度 上 为 音乐 与 语言 关 
系 的 探究 提供 了 依据 。 
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Abstract 


Music and language are unique to the human beings. It has been suggested that music and language have a 


common origin as an emotional protolanguage. The development of socialisation has resulted in the 


development of language into a symbolic communication system with explicit semantics. By contrast, music has 


become an important means of emotional expression. However, whether language with explicit semantics affects 


the emotional processing of music remains uncertain. Given that songs contain melody and lyrics, previous 
behavioural studies have focused on songs to analyse the influence of lyrics on the processing of musical 
emotion. However, several studies have also shown the influence of lyrics, although such findings are relatively 
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contradictory. 

Thus, the current study used behavioural and electrophysiological measurements to investigate the impact 
of lyrics on the processing of musical emotion. Experiment | analysed whether the emotional connotations in 
music with and without lyrics could be perceived by listeners at the behavioural level. Experiment 2 further 
investigated whether there are different neural responses to emotions conveyed by melodies with and without 
lyrics. 

A cross-modal affective priming paradigm was used in Experiments | and 2, in which musical excerpts 
served as the prime and emotional faces as target. To avoidthe impact of familiarity, 120 musical stimuli were 
selected from European opera. Each was sung by a vocalist with and without lyrics, thereby resulting in 240 
musical stimuli in two versions as potential prime stimuli. A total of 160 facial expressions affectively congruent 
or incongruent with the preceding musical stimuli were selected as potential target stimuli. Three pre-tests were 
conducted to ensure the validity of the stimuli. Eventually, 60 musical stimuli for each music version were 
selected as the prime stimuli, whilst 120 images were used as the target stimuli, thereby resulting in 240 
music—image pairs. To ensure that each stimulus appears only once for each participant, two lists were prepared 
using a Latin square design. Each prime and target was presented in either the congruent or incongruent 
condition within each list. Thus, each list comprised 120 trials, with 30 trials in each condition. During the 
experiment, the two lists were equally distributed across the participants. A total of 40 healthy adults 
participated in Experiment 1. They were asked to judge as quickly and accurately as possible whether the 
emotion of the target was happy or sad. The accuracy and reaction time were collected. Meanwhile, 20 healthy 
adults participated in Experiment 2. They were required to judge whether the emotion between music and image 
was congruent or incongruent whilst their EEG waveforms were recorded. ERPs were analysed and compared 
between conditions at the time windows of 250~450 ms and 500~700 ms after the onset of the target. 

The Experiment 1 results showed that when faces were primed by music either with or without lyrics, the 
participants responded faster and more accurately under affectively congruent condition compared with 
affectively incongruent condition. This finding indicated that the emotional connotations in music with and 
without lyrics could both be perceived. The ERP results in Experiment 2 showed that distinct neural mechanisms 
were activated by music with and without lyrics. Specifically, when faces were primed by music without lyrics, a 
larger N400 was elicited in response to affectively incongruent pairs than to affectively congruent pairs at the 
time window of 250~450 ms. However, when faces were primed by music with lyrics, a more positive LPC was 
observed in response to the affectively incongruent pairs than to the affectively congruent pairs at 500~700 ms. 
This finding confirms the results of Experiment 1, thereby suggesting that the emotion conveyed by music with 
and without lyrics could be perceived by the listeners. Moreover, the emotional processing between music with 
and without lyrics differs in the time course of neural processing. That is, the emotional processing of music 
with lyrics lagged behind that of music without lyrics. 

In conclusion, the present results suggest that the neural processing of emotional connotations in music 
without lyrics preceded that of music with lyrics, although the emotional connotations conveyed by music with 
and without lyrics could both be perceived. These findings also supported theory of musical philosophy, which 
suggests that music without lyrics can express emotion more immediately and more directly than music with 
lyrics owing to the lack of “translation” from the propositional system. On the other hand, considering that lyrics 
influenced the time course of emotional processing in music with lyrics, our results also provide evidence that 
the emotional processing of music and language may share neural resources to some extent. 

Key words musical emotion; language; lyrics; N400; LPC 


